PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert
PRIME：用插件式残差输入条件 MoE 缓解共享 CTR Top 网络中的子群优化竞争
🧭 CTR 预测 · 条件 MoE 残差插件 ★ 深度解读
Ant Group · Henan Polytechnic University · Independent Researcher · Alibaba Inc.
提出 Dense 锚定的低秩残差输入条件 MoE 插件，以零残差初始化保持原模型不变，缓解共享 Top-NN 子群梯度竞争并提升 CTR 精度
📌 工作参考价值（5 点）
- 用「锚定原预测 + 零残差初始化」给线上 CTR 模型加条件分支：训练起点与原模型完全一致，避免直接替换 Dense 路径带来的函数突变和上线风险，适合对已有精排模型做渐进式安全升级。
- 条件路由必须放在决策相关表征上：如果子群体差异在特征交叉后才出现，用 pre-cross embedding 路由会失效；建议按业务场景选择路由输入层（如中间 cross 层），并在不同骨架上做消融验证。
- 低秩专家 rank q=16 + 多 bag 平均（G=4）在很小参数/推理开销下获得中位数 AUC 提升；可作为多场景、多广告位精排模型的轻量条件化方案，避免复制完整 MLP。
- 负载均衡用 EMA 更新 router bias，不加 auxiliary loss，消除平衡系数调参和对主目标的干扰；该做法可直接复用到多目标/多场景 MoE。
- 用业务语义分组（站点、设备、时段）对比随机组梯度 cosine，可先诊断共享层是否存在子群竞争，再决定是否需要条件化改造。